Nabi Muhammad s.a.w. wafat pada tahun 632 Masihi. Saidina Umar dikatakan amat sedih dengan kewafatan Rasulullah SAW sehinggakan beliau sanggup membunuh sesiapa sahaja yang mengatakan bahawa Rasulullah s.a.w. telah wafat. Beliau kemudiannya kembali tenang selepas Saidina Abu Bakar (khalifah pertama umat Islam) berucap "Sesiapa yang menyembah Muhammad ketahuilah bahawa baginda telah wafat, tetapi sesiapa yang menyembah Allah s.w.t., ketahuilah bahawa Allah itu hidup dan tidak akan mati." Saidina Abu Bakar kemudiannya membaca beberapa potong ayat Al Quran untuk mententeramkan umat Islam.

Saidina Abu Bakar dengan sokongan Saidina Umar menjadi khalifah pertama umat Islam. Semasa pemerintahan singkat Saidina Abu Bakar, Saidina Umar merupakan penasihat Saidina Abu Bakar. Saidina Abu Bakar mencalonkan Saidina Umar sebagai penggantinya sebelum kematiannya pada tahun 634 M. Dengan itu Saidina Umar menjadi khalifah kedua umat Islam.